Beliau memulakan kerjaya akademik sebagai seorang guru di Maktab Melayu Kuala Kangsar, seterusnya dilantik sebagai Timbalan Pengarah Pelajaran di Pulau Pinang, Kedah dan Kelantan.[1] Selepas berkhidmat selama 30 tahun dalam sektor pendidikan dengan jawatan terakhir sebagai Ketua Pengarah Pendidikan pada 1991, Abdul Rahman pernah dilantik bagi beberapa jawatan penting termasuk Perunding Pendidikan di Bank Negara Malaysia.[1] Beliau juga pernah memegang jawatan sebagai diplomat di Maghribi, Filipina dan Thailand.[1] Beliau dilantik sebagai Pro-Canselor UiTM pada 15 Disember 2002 bersama-sama dengan lima felo lain.[1]

Beliau turut mendapat kepercayaan daripada Tan Sri Muhyiddin Yassin ketika Muhyiddin memegang jawatan Timbalan Perdana Menteri merangkap Menteri Pendidikan I untuk menjadi Pengerusi Majlis Penasihat Pendidikan Kebangsaan (MPPK) bagi tahun 2014 hingga 2016.[1]